买迷你 AI 主机的时候，最容易被绕晕的就是算力参数。厂商宣传页上印着大大的“50 TOPS”“100 TOPS”，等你买回来跑模型，发现速度跟预期差了一大截。不是厂商骗你，是你看参数的方式可能不太对。在此，我把 NPU 算力相关的核心参数拆开来讲，帮你避开那些最容易踩的坑。
NPU 算力通常用 TOPS 表示，即每秒万亿次整数运算。这个数字理论上越高越好，但“理论峰值”和“实际可用”之间往往有不小的差距。
以华一精品的 PB1202 为例，它搭载 AMD R5-6600H 处理器，集成 Radeon 660M 显卡（RDNA2 架构），配合 16GB LPDDR5 内存，实测可流畅运行 7B 本地大模型。它的算力参数看起来不是最高的，但因为内存带宽足够，实际推理体验非常顺畅，能够达到 12-18 token/s 的生成速度。
进阶型号 PB13 搭载 AMD Ryzen AI 7 350，内置 XDNA2 NPU，AI 综合算力 66TOPS，可流畅运行 7B 模型并应对更复杂的 AI 任务。旗舰 PB15 则搭载 AMD Ryzen AI Max 395，AI 综合算力高达 126TOPS，配合 128GB LPDDR5x 内存，能够流畅运行 130 亿参数大模型。
这三个型号的算力差异很明显，但实际选型时，光看 TOPS 数字远远不够。
厂商宣传的 TOPS 通常是 INT8 精度下的理论峰值算力。实际运行中，模型推理的效率受限于内存带宽、模型大小、算子实现等多个因素，实际可用算力通常是理论值的 50%-70%。
实测数据可以说明问题：某品牌标称 50 TOPS 的 NPU 迷你主机，搭配的是 LPDDR4 内存，带宽仅 30GB/s，跑 7B 模型只有 8 token/s。而 PB1202 虽然算力参数不算最高，但 LPDDR5 内存带宽足够，7B 模型实测可达 12-18 token/s。算力是潜力，内存带宽决定你能兑现多少潜力。
这是选型中最容易被忽视的指标。大模型推理的本质，是不断地把模型参数从内存搬到计算单元做运算。如果内存带宽不够，计算单元只能空转等待数据，TOPS 再高也发挥不出来。
有一个粗略的估算方法：跑 7B INT4 模型，至少需要 40-50GB/s 的内存带宽，才能达到流畅的推理速度。PB1202 的 LPDDR5 内存带宽约为 60GB/s，刚好跨过这条线。如果你看到一台设备 TOPS 很高但内存类型是 LPDDR4 或 DDR4，就要警惕了——它的实际推理速度可能还不如配置更均衡的设备。
不是所有 NPU 都能跑所有模型。选型时至少确认两件事：
支持的量化精度： 大多数 NPU 对 INT8 支持最好，部分支持 INT4。如果你想跑 INT4 量化的模型（文件更小、速度更快），需要确认 NPU 是否支持。
推理框架兼容性： 不同厂商的 NPU 有各自的推理栈。高通用 QNN，Intel 用 OpenVINO，AMD 用 ROCm，瑞芯微用 RKNN。如果你已经有现成的模型和代码，确认它是否能在目标 NPU 上直接运行非常重要。否则你可能需要花几周时间做模型迁移和适配。
很多迷你主机跑短任务时表现不错，一旦持续推理超过 10 分钟，就因为积热而降频，推理速度断崖式下降。选型时要看设备是否有足够的散热设计——散热鳍片面积、热管、风扇转速、风道设计，都会影响持续算力。
如果设备宣传页只提峰值算力，不提持续算力，建议多看看实际用户评测，或者直接向厂商索要持续推理的压力测试数据。
NPU 的功耗直接决定了设备的散热方式和适用场景。低功耗 NPU（5-15W）可以采用无风扇被动散热，适合静音办公和工业无尘环境。中等功耗 NPU（15-45W）需要主动风扇散热，适合桌面办公和小型工作站。高功耗 NPU（45W以上）需要高性能风扇甚至液冷，适合专业 AI 工作站。
华一精品的 PB1202 整机功耗约 45W，采用主动风扇散热，在性能和噪音之间取得了较好平衡。如果需要完全静音的环境，可以选择功耗更低的边缘计算方案，但推理速度会相应降低。
把你选中的设备放进来，对照下面这几条快速排查：
①内存带宽够不够？ LPDDR5 是及格线，LPDDR5X 更好，DDR4 和 LPDDR4 需要谨慎考虑。
②NPU 支持你用的模型格式吗？ 确认量化和推理框架兼容性。
③持续推理能力如何？ 要求厂商提供压力测试数据，或自行用实际模型测试 15 分钟以上。
④功耗和散热是否匹配你的部署环境？ 办公室需要安静，工业场景需要宽温和无风扇。
⑤是否有技术支持和软件适配服务？ 尤其是批量采购时，FAE 支持能力直接影响项目进度。
如果你对迷你 AI 主机的选型还有疑问，或需要定制化的 AI 算力方案，欢迎联系华一精品，我们提供从入门级到旗舰级的完整 AI 迷你主机产品线，并可根据需求提供配置定制和技术支持服务。
